package org.example

import org.apache.spark.{SparkConf, SparkContext}


object testqw {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("testqw").setMaster("local[2]");
    val sc = new SparkContext(conf);
    var rdd1 = sc.textFile("data/zy1").repartition(1);
    val rdd2=rdd1.map(_.split("\\s+")).filter(_.length == 2).map(lens=>(lens(0),(lens(1).toDouble,1)))
    val rdd3=rdd2.reduceByKey((x,y)=>(x._1 + y._1,x._2 + y._2)).map(ls=>(ls._1,(ls._2._1/ls._2._2)))
    rdd3.foreach(println)
  }
}
